Nguồn gốc họ Đào nằm ở huyện Hải Hậu, tỉnh Nam Định (có tài liệu ghi là nội trấn Thanh Hóa). Họ Đào Đông Trang có một trạng nguyên, là Đào Sư Tích và là cụ tổ của dòng họ này.

Đào Sỹ Từ là người có công cùng với cựu thần nhà Lê đưa Lê Trang Tông lên ngôi. Ông từng giữ nhiều chức vụ quan trọng trong triều như: Đặc tiến phụ quốc thượng tướng quân, Trung quân đô đốc, Tước quận công. Vì có nhiều công lao phò vua nên sau khi mất được phong Thái Bảo huệ quốc công, bài vị được thờ cúng tại di tích.

Nối tiếp truyền thống cha anh, Đào Sỹ Kỳ (con cả của Đào Sỹ Từ), một người thông minh, tài giỏi, hết lòng vì dân vì nước. Ông được phong nhiều chức quan trọng: Tuyên lực công thần, Đặc tiến phụ quốc thượng tướng quân, Phủ tà đô đốc... và được ban thưởng 375 mẫu ruộng.

Tuấn mỹ hầu Đào Sỹ Hựu - cháu đích tôn Cống quận công Đào Sỹ Kỳ - là người có tài võ lược, từng phò giá Thanh Đô Vương Trịnh Tráng đánh giặc lập được nhiều công lớn, được phong chức Tả hiệu điểm, Điện tiền đô hiệu điểm,..... Ông được ban sắc chỉ cho thiết lập từ đường rộng 3 sào 10 thước tại bản quán để làm nơi thờ cúng lâu dài.